查看原文
其他

Guardian 5.0全新架构解析:大数据安全防御之盾(二)

2017-09-08 Coda6 大数据开放实验室

TDH 5.0中,星环对于Guardian进行了多方面改进与升级。TDH 5.0将原来采用嵌套模式的Guardian抽离为现在的独立服务,更新了总体框架,引入了增强的统一ARBAC模型,设计了新的权限、配额管理功能并提供可视化的配置界面,在原有基础上进一步简化运维方式,提供了更友好的API,使其在灵活性、可用性和效率等多个维度上的表现得到大幅提升。

上一篇文章(Guardian 5.0全新架构解析:大数据安全防御之盾(一))着重介绍了Guardian架构的改变和ARBAC的引入后所带来的优化表现:如实现了统一的授权机制,提升了认证效率;以及引入了Administrative Permissions和Administrative Roles,增加了权限与组、角色与组、组的继承关系,为管理员的职责划分提供了基础等。

本文将对Guardian 5.0中的多粒度权限管理、新增资源管理控制功能以及简化的运维操作,这三方面的新特性做以详细介绍。

多粒度权限管理

Guardian 5.0新增了权限,优化了权限设置方式,提供了多种粒度的权限控制。

首先它为各个组件提供了完整统一的RBAC的权限管理,包括HDFS、YARN、Inceptor、Hyperbase、Workflow以及Midas服务;

其次,Guardian 5.0新增了服务级别的访问权限ACCESS,要求仅当用户拥有ACCESS权限时,才能访问该服务,否则即使获得该服务资源的访问权限也无法访问成功。服务Access访问权限的实现,使得管理员可以从服务级别直接控制用户的访问;

对于单个服务,老版本Guardian只支持用户通过配置文件设置超级管理员,而Guardian 5.0则实现了服务管理员的动态设置,和服务管理员职责的精细划分,有更高的灵活度和可操作性;

对于特定服务,Guardian 5.0根据实际生产中用户对于操作的常见需求,提供了多种粒度的权限管理,例如Inceptor既提供了粗粒度的全局权限和数据库权限,分别用于赋予Inceptor中所有表和数据库的权限以及以数据库为单位设置表的权限,同时提供比表级别更细粒度的权限管理,如行级权限管理与列级权限管理,满足用户各个层面的权限管理需求。

资源控制

Guardian 5.0配合Inceptor Scheduler提供了对于Inceptor细粒度的资源控制,可以针对用户的不同权限和优先级,设置合理的资源分配方式。资源管理配置界面如下所示,该界面支持设置用户允许提交的队列,每个队列可以使用的CPU数量,队列的权重,以及每个用户可提交的SQL数量上限。同时对HDFS配额、Yarn队列、Inceptor数据库及表的配额以及Discover用户配额提供配置接口。Guardian 5.0资源配置界面使得集群资源使用情况被可视化,简化了资源管理过程。

运维简化

Guardian 5.0使用Java实现的ApacheDS单一服务实现了标准的LDAP和KERBEROS认证协议,用同一套用户统一LDAP/Kerberos认证代替原来的OpenLDAP+Kerberos方案,极大简化了部署步骤并提高了认证效率。

Guardian 5.0将所有组件的权限信息都集中存储在ApacheDS中,使得权限设置并不依赖于各个具体的服务,即使服务处于异常状态甚至关闭,用户仍然可以正常的对服务设置访问权限和配额。这样的结构成功实现了资源管理与具体的服务之间的解耦,使安全管理员可以集中精力管理资源分配,而无需关注具体服务状态。

Guardian 5.0还提供了友好的日志系统和报错信息,便于降低运维难度。

此外,Transwarp Manager 5.0提供了Guardian的一键安装部署、主从备份、角色迁移以及状态监控功能,确保安装、部署、迁移的便利性,以及用户和权限信息的安全可靠。

总结和展望

通过这两篇文章,我们介绍了Guardian 5.0中的各项新特性:成为独立的服务,提供更专注的功能;提供标准的LDAP/KERBEROS/JWT token认证协议,自上而下构建统一的用户体系;引入增强的ARBAC模型,统一了组件服务的权限管理系统;采用新的资源管理提供了一站式管理集群计算存储资源的解决方案;提供更友好的rest/web接口;简化运维,简化部署,方便问题诊断。

将来Guardian还会持续开发并提供更多的新功能。例如实现权限穿透用以打通Inceptor和Hyperbase、HDFS之间的权限壁垒,实现只需通过SQL对Inceptor表授权,Inceptor对应的Hyperbase表以及HDFS路径也会隐含获得对应的权限。另外对更广泛的服务提供支持,例如Zookeeper、Kafka和Rubik。

Guardian将不断致力于实现一个完整的、易用的大数据安全解决方案,为企业大数据安全保驾护航,使云服务的存储数据得到高强度的安全保护。


往期原创文章

Guardian 5.0全新架构解析:大数据安全防御之盾(一)

Rubik支持的OLAP Cube降维方法(一)

TDH中的高效SQL IDE--Waterdrop

Transwarp Pilot: 让BI分析全面自助化

近实时的ETL工具--Transwarp Transporter

MBO: SQL优化之基于物化视图的优化

用Slipstream构建复杂事件处理应用

混合负载下的资源调度神器--Inceptor Scheduler

你应该知道的工作流调度平台——Transwarp Workflow

OLAP Cube可视化设计工具—Transwarp Rubik

TDH荣获TPC官方测试(TPCx-HS@10TB)最佳性能

利用Transwarp Guardian保障HDFS安全

关于StreamSQL中的Application隔离

如何让Kafka集群免受黑客攻击

Transwarp如何让Hadoop集群免受黑客攻击

大数据基础技术的未来演进趋势预测




大数据开放实验室由星环信息科技(上海)有限公司运营,专门致力于大数据技术的研究和传播。若转载请在文章开头明显注明“文章来源于微信订阅号——大数据开放实验室”,并保留作者和账号介绍。


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存